pdf-icon

Module LLM Kit

SKU:K144

描述

Module LLM Kit是一款专注于离线 AI 推理与数据通信接口应用的智能模块套件,整合了Module LLM 与 Module13.2 LLM Mate 模块,满足多场景下的离线 AI 推理与数据交互需求。

Module LLM 是一款集成化的离线大语言模型 (LLM) 推理模块,专为需要高效、智能交互的终端设备设计。无论是在智能家居、语音助手,还是在工业控制中,Module LLM 都能为您带来流畅、自然的 AI 体验,无需依赖云端,确保隐私安全与稳定性。

Module13.2 LLM Mate 模块提供多种接口功能,便于系统集成和扩展。通过 M5BUS 接口实现与 Module LLM 的堆叠供电;其内置 CH340N USB 转换芯片提供 USB 到串口的调试功能,而 Type-C 接口用于 USB Log 输出;同时,RJ45 接口与板载网络变压器协同工作,可扩展出百兆以太网口及内核串口(支持 SBC 应用);另外,FPC-8P 接口直接对接 Module LLM,实现稳定的串口通信;此外,还预留了HT3.96*9P 焊盘,方便用户进行 DIY 扩展。

Module LLM模块集成 StackFlow 框架,配合 Arduino/UiFlow 库,几行代码就可轻松实现端侧智能。搭载爱芯 AX630C SoC 先进处理器,集成 3.2TOPs 高能效 NPU,原生支持 Transformer 模型,轻松应对复杂 AI 任务。配备 4GB LPDDR4 内存(其中 1GB 供用户使用,3GB 专用于硬件加速)和 32GB eMMC 存储,支持多模型并行加载与串联推理,确保多任务处理流畅无阻。运行功耗仅约 1.5W,远低于同类产品,节能高效,适合长时间运行。

Module LLM多模型兼容,出厂预装 Qwen2.5-0.5B 大语言模型,内置 KWS(唤醒词),ASR(语音识别),LLM(大语言模型)及 TTS(文本生成语音)功能,且支持 apt 快速更新软件和模型包。安装 openai-api 插件后,即可兼容 OpenAI 标准 API,支持聊天,对话补全,语音转文字和文字转语音等多种应用模式。官方 apt 仓库提供丰富的大模型资源,包括 deepseek-r1-distill-qwen-1.5b,InternVL2_5-1B-MPO,Llama-3.2-1B,Qwen2.5-0.5B 以及 Qwen2.5-1.5B,同时还涵盖文本转语音模型(melotts)与语音转文本模型(whisper-tiny,whisper-base)和视觉模型(如 yolo11 等 SOTA 模型)。仓库将持续更新,以支持最前沿的模型应用,满足各种复杂 AI 任务。

Module LLM Kit 即插即用,搭配 M5 主机,实现即插即用的 AI 交互体验。用户无需繁琐设置,即可将其集成到现有智能设备中,快速启用智能化功能,提升设备智能水平。该产品适用于离线语音助手,文本语音转换,智能家居控制,互动机器人等领域。

注意事项

本教程将向你介绍, 如何通过 Arduino IDE 编程控制 Module LLM 设备
本教程将向你介绍, 如何通过 UiFlow2 图形化编程平台控制 Module LLM设备

产品特性

  • 离线推理,3.2T@INT8精度算力
  • 集成KWS(唤醒词),ASR(语音识别),LLM(大语言模型),TTS(文本生成语音)
  • 多模型并行
  • 板载32GB eMMC存储和4GB LPDDR4内存
  • 板载麦克风及扬声器
  • 串口通信
  • SD卡固件升级
  • 支持ADB调试
  • RGB提示灯
  • 内置ubuntu系统
  • 支持OTG功能
  • 开发平台
    • UiFlow1
    • UiFlow2
    • Arduino IDE

包含

  • 1 x Module LLM
  • 1 x Module LLM Mate
  • 2 x FPC-8P 通讯线

应用

  • 离线语音助手
  • 文本语音转换
  • 智能家居控制
  • 互动机器人

规格参数

规格 参数
处理器SoC AX630C@Dual Cortex A53 1.2 GHz
MAX.12.8 TOPS @INT4, 3.2 TOPS @INT8
内存 4GB LPDDR4 (1GB 系统内存 + 3GB 硬件加速专用内存)
存储 32GB eMMC5.1
通信 串口通信,默认波特率115200@8N1(可调)
麦克风 MSM421A
音频驱动 AW8737
扬声器 8Ω@1W,尺寸: 2014 腔体喇叭
内置功能单元 KWS(唤醒词),ASR(语音识别),LLM(大语言模型),TTS(文本生成语音)
RGB灯 3x RGB LED@2020,由LP5562驱动(状态指示)
功耗 空载:5V@0.5W,满载:5V@1.5W
按键 用于升级固件进入下载模式
升级接口 SD卡/Type C口
转换芯片 CH340N
以太网接口 RJ45接口搭配板载网络变压器(11FB-05NL SOP-16)
串口接口 FPC-8P接口,TypeC接口,RJ45接口
DIY扩展接口 HT3.96*9P焊盘
工作温度 0-40°C
产品尺寸 Module LLM : 54.0 x 54.0 x 13.0mm
Module13.2 LLM Mate : 54 x 54 x 19.7mm
包装尺寸 Module LLM : 192.0 x 95.0 x 17.0mm
Module13.2 LLM Mate : 192.0 x 95.0 x 21.0mm
产品重量 Module LLM : 17.4g
Module13.2 LLM Mate : 19.2g
包装重量 Module LLM : 32.0g
Module13.2 LLM Mate : 34.8g

操作说明

Module LLM 与 Module13.2 LLM Mate的连接步骤与接口展示


module sizemodule size

原理图

管脚映射

Module LLM RXD TXD
Core (Basic) G16 G17
Core2 G13 G14
CoreS3 G18 G17
Module LLM引脚切换
Module LLM预留了引脚切换焊盘, 一些出现引脚复用冲突的情况下, 可以通过切割PCB线路然后跳线连接至其他组引脚,参考 教程
module size

尺寸图

module size module size

数据手册

软件开发

  • Module LLM工作状态指示灯:
    • 红色:设备正在初始化
    • 绿色:设备初始化完成
  • Module LLM应用升级状态指示灯:
    • 蓝灯闪烁:应用包更新中
    • 红色:应用包升级失败
    • 绿色:应用包升级成功
Module LLM模型替换注意事项
LLM Module支持的模型为爱芯特有格式,需经过特殊处理才可正常使用。因此并不能直接使用市面现有模型。

Arduino

UiFlow2

固件更新

开发框架

开发资料

相关视频

  • Module LLM 产品介绍以及例子展示

产品对比

AI Benchmark 对比

compare